Ngày 10 tháng 4 năm 1886, Conrad kết hôn với vị hôn thê Vilma von Le Beau. Hai người có bốn người con trai, gồm Konrad (tên thường gọi là Kurt, 1887–1918), Erwin (1888–1965), Herbert (1891–1914, bị giết gần Rawa-Ruska, được chôn cất trong nghĩa trang của Học viện Quân sự Theresian) và Egon (1896–1965) - tất cả sau này đều trở thành sĩ quan.[10]

Sau đó ông cưới người vợ thứ hai là Virginia von Reininghaus vào năm 1915.